CommerceGen-Studio: An End-to-End Framework for Commercial-Grade Main-Image Generation
CommerceGen-Studio:电商 SKU 主图端到端生成框架
🧭 多模态电商主图生成 · Agent+RL+蒸馏 ★ 深度解读
Alibaba Group · Taobao App · AI-Native Applications Group
三段式 SKU 主图生成框架:PERL-Agent 提炼卖点、Layout Thinker 优化布局、SKU-DiT 多条件保真生成,已支撑每日百万级生产
📌 工作参考价值(4 点)
- PERL-Agent 的闭环提炼模式可直接迁移到电商文案/标题/搜索词生成:用 VLM+LLM 四角色(生成-评判-归因-改写)处理多源元数据冲突,六维 reference-free rubric 优化最差维度而非均值,支持按失败维度单点修改 prompt 并回滚到历史好版本。业务上可避免按类目写规则,也能定位 bad case 根因。
- Layout Thinker Optimization 的做法值得 Agent 系统借鉴:在结构化 TextList 和最终生成器之间插入显式布局改写层,SFT 后做双域 GRPO——文本奖励直接评 caption,图像奖励冻结下游 SKU-DiT 渲染后评图,每次只激活一个奖励域避免梯度冲突。这样能缩小上游语义和下游生成之间的 gap,而不是让生成器自己隐式规划。
- RDR 训练策略对模型加速很有参考价值:先 RL 对齐偏好,再用 DMD2 变体做少步蒸馏(靠近干净端点随机停止、商标域 3:1 混合、对抗训练),最后对少步学生再做一轮 RL 恢复高频细节。注意 RL 阶段用 LoRA 限制更新范围,防止奖励优化把底座能力带偏。
- 多条件输入设计可复用于电商 AIGC 管线:白底商品图 + 商标 crop + 结构化布局 caption 联合输入,把主体保真、logo 完整性、文字准确度显式拆成条件,并在 reward 中加入 OCR penalty,比单一 prompt 更能满足可发布要求。